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fi 2: [目的 /意义 ] 为 保障 国家 预 印 本 平台 论文 质量 ， 需 引入 同行 评议 。 近 年 来 自 组 织 同行 评议 逐渐 受到 关注 。 为 达到 国 
家 预 印 本 平台 管理 机 构 预 期 的 性 能 表现 ， 需 要 研究 自 组 织 同行 评议 关键 参数 优化 设计 。 [方法 / 过 程 ] 以 论文 评议 完成 率 
(CR)、 评 议 人 任务 分 配 均衡 度 (TBD)、 论 文平 均 评议 时 间 (A_r_time) 为 自 组 织 同行 评议 性 能 评价 的 3 个 因 变 量 ， 评 议 人 休 
息 时 间 、 评 议 人 拒 审 率 、 作 者 人 数 、 评 议 资格 比例 4 个 关键 参数 为 自 变量 ， 对 Box-Behnken 抽样 设计 得 到 数据 进行 响应 面 分 
析 ， 得 到 性 能 评价 因 变量 与 关键 参数 自 变量 的 量化 表达 关系 式 。[ 结 果 / 结论 ] 通过 4 个 关键 参数 自 变 量 取 值 不 同 组 合 ， 国 家 
预 印 本 论文 平台 可 以 调整 自 组 织 同行 评议 的 3 个 性 能 参数 表现 ， 保 障 国家 预 印 本 平台 发 布 论文 平均 质量 。 
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的 具体 体现 ， 科 技 部 直属 中 息 研 究 所 建 

1 5| 言 设 了 国家 科研 论文 集中 发 布 平台 (China Open Access 


Archive, CoaA), awn https://coaa.istic. 
科技 信息 是 国家 创新 体系 关键 支撑 要 素 ，2020 年 。 ac.cn/， 该 平台 已 于 2022 年 底 上 线 。 国 家 科研 论文 集 
中 国 颁 发 的 《关于 制定 国民 经 济 和 社会 发 展 第 十 四 个 ”中 发 布 平台 目前 包括 3 个 子平 台 一 一 国家 预 印 本 平台 
五 年 规划 和 二 @ 〇 三 五 年 远景 目标 的 建议 》 提 出 建设 国 ”国家 科技 期 刊 平 台 、 国 家 知识 仓储 平台 。 其 中 ， 国 家 
家 科研 论文 和 科技 信息 高 端 交 流 平台 ， 并 将 其 列 为 预 印 本 平台 互联 网 为 https://coaa.istic.ac.cn/preprint。 
“强化 国家 战略 科技 力量 ”七 要 点 之 一 ， 这 是 中 国 首 次 国家 预 印 本 平台 旨 在 推进 中 国 科 研 论文 快速 发 布 
将 科技 信息 纳入 中 央 级 文件 。 作 为 落实 文件 上 述 要 求 。 和 开放 共享 、 实 现 原 创 科研 论文 “中 国 首 发 、 全 球 知 


收 稿 日 期 : 2023-05-16 

基金 项 目 : 国家 自然 科学 基金 项 目 “ 预 印 本 数据 库 环境 下 开放 同行 评议 机 制 研究 ” (71563007) ; 桂林 电子 科技 大 学 研究 生 教育 创新 计划 基 

金 项 目 “ 预 印 本 2.0 与 期 刊 评 议 速 度 差异 定量 建 模 分 析 ” (2022YCXS120) 

作者 简介 : 王 凌 峰 (1976- ) ， 男 ,博士 ， 研 究 员 ， 硕 士 生 导师 ， 研 究 方向 为 科技 管理 与 创新 。 王 申 鹏 (1997-), 5, MEFR, f 
向 为 科技 管理 与 创新 


G 


2023 年 第 35 卷 第 7 期 WMO 


76 


研究 论文 


DOI, 10.13998/j.cnki.issn1002-1248.23-0303 


晓 ”。 国 家 预 印 本 平台 接收 中 英文 预 印 本 科研 论文 ， 作 
者 实名 注册 后 即 可 投稿 ， 文 章 通 过 最 必要 的 基本 审核 
后 可 获得 DOI 编号 。 为 保障 作者 首发 权 ， 平 台 向 首发 
论文 提供 电子 收录 证 书 。 国 家 预 印 本 平台 同时 整合 中 
目前 最 有 代表 性 的 多 个 预 印 本 网 站 一 一 教育 部 科技 
发 展 中 心 主办 的 中 国 科技 论文 在 线 (目前 论文 数量 最 
多 )、 中 国 科学 院 文献 情报 中 心 主办 的 中 国 科学 院 预 印 
本 、 中 国 科技 信息 研究 所 主办 的 中 国 预 印 本 服务 系统 
(该 系统 官网 通告 2023 年 4 月 1 日 停止 接收 稿件 )。 
国家 预 印 本 平台 的 高 端 定位 要 求 其 具有 较 完 备 的 
论文 质量 保障 机 制 上 。 但 是 ， 预 印 本 缺乏 期 刊 的 同行 评 
议 机 制 ， 故 到 目前 为 止 ， 世 界 主要 科研 国家 的 科研 人 
事 管 理 部 门 在 职称 晋升 、 课 题 申报 等 诸多 研究 者 关心 
的 个 人 利益 场合 并 没有 将 预 印 本 文章 与 期 刊 文章 等 同 
视 之 。 个 人 利益 关切 驱动 下 ， 大 多 数 研 究 者 虽然 态度 
上 文 持 预 印 本 ,但 实际 上 并 不 向 预 印 本 提交 文章 。 因 
此 ， 尽 管 欧美 代表 性 学 科 性 预 印 本 数据 库 (如 数学 、 
物理 、 计 算 机 领域 arXiv， 生 物 学 领域 bioRiv) 目前 每 
年 提交 文章 数量 数 以 万 计 ， 但 在 数学 、 物 理 、 计 算 机 、 
生物 学 领域 的 大 部 分 仍然 在 期 刊 发 表 名 。 同 样 现象 也 在 
中 国 的 国家 预 印 本 平台 上 重 现 ， 数 据 表明 ， 近 年 中 国 
发 表 的 中 文 期 刊 文章 数 (中 国 知 网 统计 ) 是 中 国 发 布 
的 预 印 本 文章 (中 国 科技 论文 在 线 、 中 国 科学 院 预 印 
本 、 中 国 预 印 本 服务 系统 合计 ) 的 500 SA, 
随 着 国家 预 印 本 平台 于 2022 年 底 落地 运行 ， 争 取 
国家 预 印 本 平台 发 布 文章 和 期 刊 文章 一 样 被 科研 人 事 
管理 部 门 认可 ， 激 励 大 批 研 究 者 向 国家 预 印 本 平台 提 
交 文 章 ， 很 自然 地 成 为 国家 预 印 本 平台 下 一 阶段 建设 
的 重要 议题 中。 目前 国内 外 预 印 本 采用 的 论文 质量 保障 
机 制 主 要 有 : 巴 由 预 印 本 工作 人 员 对 研究 者 提交 的 论 
文 进 行 技术 性 形式 审查 ， 主 要 包括 审核 作者 是 否 在 正 
规 学 术 机 构 工 作 、 作 者 履历 是 否 具备 基本 的 学 术 研究 
训练 、 软 件 查 重 以 及 是 否 有 可 信和 研究 者 背书 。 优 点 是 
审核 快 ， 缺 点 是 并 非 对 论文 内 容 的 评价 ， 论 文 质量 保 
障 力度 小 。 名 招募 志愿 者 口 。 志 愿 者 机 人 制 的 优点 是 不 需 
要 预 印 本 平台 支付 报酬 ， 缺 点 是 学 术 观 点 分 歧 甚 至 私 
人 了 矛盾 可 能 介入 其 中 ， 国 际 著名 预 印 本 数据 库 arXiv 多 
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次 发 生 审 核 员 因 不 同 原因 删 掉 论 文 而 引发 作者 抗议 事 
件 。@ 读 者 自由 点 评 。 优点 是 评议 者 可 以 畅所欲言 ， 
发 表 看 法 ， 缺 点 在 于 一 些 论文 可 能 长 期 无 人 点 评 ， 男 
外 可 能 出 现 一 些 作者 之 间 互 相 给 对 方 论文 虚假 好 评 ， 
或 者 刻意 低 评 与 自己 存在 利益 冲突 的 论文 。 外 同行 评 
议 。 由 具备 评议 资格 的 评议 人 对 论文 质量 进行 评议 。 
根据 评议 人 邀请 方式 不 同 ， 又 分 为 作者 邀请 、 编 辑 邀 
请 、 自 组 织 同行 评议 "。 由 于 作者 邀请 评议 人 容易 作 浆 
或 者 评议 人 天 然 倾向 于 拔高 评价 ， 故 实践 中 可 行 的 是 
编辑 邀请 、 自 组 织 评议 。 中 国 国家 预 印 本 平台 文章 来 
源 最 多 也 即 目 前 最 主要 子平 台 一 一 中 国 科技 论文 在 
线 一 一 采用 编辑 邀请 。 自 组 织 同行 评议 的 最 大 特点 是 
由 算法 而 不 是 由 人 来 完成 搜索 评议 人 、 匹 配 评议 人 - 
待 评 材 料 两 个 同行 评议 的 关键 环节 。 由 于 算法 一 旦 启 
HN, 不 再 需要 人 介入 ， 故 称 为 自 组 织 同行 评议 。 同 行 
评议 组 织 者 不 再 具体 介入 搜索 评议 人 、 匹 配 评议 人 - 
待 评 材料 ， 而 是 专注 于 设计 与 完善 算法 、 处 理 同行 评 
议 过 程 出 现 的 意外 情况 。 

在 评议 人 、 待 评 材 料 相同 的 条 件 下 ， 自 组 织 同行 
评议 在 公正 性 、 有 效 性 、 快 捷 性 方面 整体 上 优 于 传统 
的 由 编辑 组 织 的 同行 评议 ”"。 作 为 近 10 年 来 同行 评议 
模式 的 一 种 创新 ， 自 组 织 同行 评议 具有 一 定理 论 与 应 
用 价值 。 自 组 织 同 行 评议 理论 上 完全 适用 于 预 印 本 外 ， 
已 有 文献 讨论 将 自 组 织 同行 评议 应 用 于 预 印 本 如 中 国 
科技 论文 在 线 四 、 

自 组 织 同行 评议 应 用 于 国家 预 印 本 平台 
决 两 个 核心 问题 : 四 激励 研究 者 广泛 参与 问题 ; 
键 参数 设计 问题 。 

激励 研究 者 广泛 参与 问题 产生 的 原因 是 同行 评议 
普遍 没有 报酬 ， 属 于 研究 者 对 学 术 社区 的 义务 劳动 。 
由 于 期 刊 得 到 科研 人 事 管理 部 门 认可 ， 因 此 给 期 刊 担 
任 文章 评议 人 对 研究 者 而 言 具 有 一 定 声誉 认可 价值 ， 
有 助 于 个 人 职业 发 展 ， 因 此 相对 多 数 研究 者 愿意 为 期 
刊 免 费 评议 文章 。 预 印 本 文章 目前 不 被 科研 人 事 管理 
部 门 认可 ， 国 家 预 印 本 平台 引入 同行 评议 ， 则 激励 研 
究 者 参与 同行 评议 势必 成 为 难题 。 对 此 可 引入 自 组 织 
同行 评议 解决 。 自 组 织 同行 评议 引入 国家 预 印 本 平台 
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的 基本 思路 是 平台 通过 算法 匹配 一 个 学 科 领 域 下 提交 
文章 的 研究 者 ， 让 研究 者 之 间 双 育 的 情况 下 互相 评议 ， 
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本 。 论 文 数 与 论文 作者 关系 服从 洛 特 卡 分 布 ， 通 过 
调整 治 特 卡 分 布 参数 取 值 从 而 仿真 不 同学 科 。 一 个 仿 


对 于 连续 拒 评 或 评议 超时 的 研究 者 进行 处 罚 ， 处 罚 期 间 
被 处 罚 者 提交 和 参与 署名 的 所 有 论文 暂停 被 访问 、 下 载 
和 被 评议 ， 同 时 向 这 些 论文 的 其 他 作者 通报 处 罚 情况 ， 
通过 研究 者 个 人 声誉 受 损 与 同 信 压力 激励 评议 人 按时 完 
成 评议 任务 四。 除 通过 上 述 处 罚 方式 激励 研究 者 参与 
外 ， 石 进 等 还 讨论 了 自 组 织 同行 评议 的 积分 激励 机 
制 中 、 付 江 阳 等 人 提出 自 组 织 同行 评议 的 通 证 激励 忠 。 

关键 参数 设计 问题 产生 的 原因 是 影响 自 组 织 同行 
评议 性 能 的 4 个 关键 参数 包括 评议 人 休息 时 间 、 评 议 
人 拒 审 率 、 作 者 人 数 、 评 议 资格 比例 ，4 个 关键 参数 取 
值 组 合 不 同 ， 则 自 组 织 同行 评议 性 能 表现 不 同 。 那 么 ， 
在 国家 预 印 本 平台 管理 方 要 求 性 能 下 ， 自 组 织 同行 评 
议 上 述 关键 参数 如 何 优化 设计 才能 达到 要 求 ? 

为 此 ， 本 文 使 用 论文 评议 完成 率 (CR), FRA 
任务 分 配 均衡 度 (TBD) 、 论 文平 均 评议 速度 
(Ar time) 3 个 性 能 指标 评价 自 组 织 同行 评议 表现 ， 
具体 定义 详 见 表 1， 采 用 Box-Behnken 实验 方案 ， 对 
自 组 织 同 行 评 议 关 键 参数 的 不 同 取 值 进行 试验 设计 ， 
仿真 得 到 关键 参数 典型 组 合 对 应 的 自 组 织 同行 评议 在 
上 述 3 个 性 能 指标 的 表现 值 ， 再 拟 合 得 到 性 能 指标 与 
关键 参数 之 间 的 量化 方程 式 ， 国 家 预 印 本 平台 管理 方 
可 以 根据 需要 设 定 关键 参数 取 值 ， 用 于 国家 预 印 本 平 
台 的 管理 决策 参考 。 


2 数值 实验 研究 设计 


2.1 自 组 织 同 行 评议 过 程 规则 设 定 


为 提高 小 同行 评议 概率 ， 讨 论 在 二 级 学 科 层面 上 


真 周期 为 365 天 ， 评 议 时 间 超 出 仿真 周期 的 文章 视 为 
未 评议 。 

自 组 织 同行 评议 过 程 规则 仿真 设 定 : 加 通过 调整 
评议 人 占 全 部 作者 比例 来 保证 评议 人 具备 必要 的 专业 
WN, Q3 名 评议 人 为 一 组 评议 一 篇 论文 (目前 国内 
外 惯例 )。3 名 评议 人 评议 用 时 最 长 者 为 论文 最 终 评 议 
时 间 。 作 者 不 自 评 自己 参与 署名 的 论文 。@ 一 名 评议 
人 任务 数 为 其 提交 论文 数量 乘 以 3， 如 甲 、 乙 两 人 分 别 
向 平台 提交 1 篇 、2 篇 文章 ， 则 甲 评议 人 相应 任务 数 
量 为 3 篇 ， 乙 为 6 篇 。 提 交 文 章 多 ， 则 评议 任务 多 。 
则 和 若 有 多 个 满足 条 件 的 评议 人 组 合 ， 优 先 选择 评议 任 
务 未 完成 数量 最 多 的 组 合 。@@ 知 存在 多 个 评议 任务 未 
完成 数量 相同 的 评议 人 组 合 要 求 选择 ， 则 随机 选择 一 
个 评议 人 组 合 。@ 如 没有 满足 条 件 的 组 合 ， 等 待 下 一 
轮 匹配 。@ 对 评议 超期 、 多 次 拒 评 的 评议 人 处 罚 为 将 
被 处 罚 评议 人 提交 的 待 评 论文 直接 后 移 到 论文 - 评议 
人 匹配 序列 的 最 后 位 置 。 

自 组 织 同行 评议 与 目前 大 多 数 期 刊 采用 的 编辑 邀 
请 同行 评议 模式 的 根本 区 别 在 于 : 自 组 织 同 行 评 议 的 
评议 人 来 源 为 预 印 本 平台 注册 者 ， 且 为 待 评议 论文 匹 
配 评议 人 时 是 根据 一 组 算法 规则 ， 无 需 编辑 介入 。 两 
者 相同 之 处 在 于 : 都 是 根据 摘要 、 关 键 词 及 作者 主要 
研究 方向 ， 为 待 评议 论文 匹配 研究 领域 相似 的 评议 人 。 


2.2 自 组 织 同行 评议 性 能 指标 


自 组 织 同行 评议 性 能 表现 评价 指标 以 及 定义 详 见 
表 1。 其 中 ,评议 任务 饱和 度 含义 是 : 以 3 名 评议 人 为 
一 组 评议 一 篇 论文 为 例 ， 假 设 一 名 作者 有 评议 资格 ， 
向 国家 预 印 本 平台 提交 2 篇 文章 要 求 评议 ， 则 为 维持 


表 1 自 组 织 同行 评议 性 能 评价 指标 
Table 1 Performance evaluation indicators of self-organizing peer review 
编号 名 称 符号 定义 
1 评议 完成 率 CR 一 个 仿真 周期 内 ， 已 经 完成 评议 的 论文 数量 占 总 待 评议 论文 数 的 比例 
2 平均 评议 时 间 A r time 一 个 仿真 周期 内 ， 处 于 完成 评议 状态 的 文章 所 用 评议 时 间 均 值 
3 任务 分 配 均衡 度 TBD 评议 任务 饱和 度 大 于 80% 的 评议 人 数 占 所 有 具备 评议 资格 的 评议 人 数 的 比例 
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评议 可 持续 ， 该 作者 需要 在 平台 评议 其 他 论文 的 评议 
任务 量 为 2x3=6。 如 在 一 个 仿真 周期 内 ， 此 人 实际 完 
成 评议 论文 3 篇 ， 则 其 任务 饱和 度 为 3+6=50%, KH 
平台 向 该 评议 人 分 配 任务 次 数 不 够 ， 或 者 该 研究 者 拒 
审 次 数 过 多 ， 都 属于 应 该 避免 的 情况 。 显 然 ， 任 务 饱 
和 度 越 接近 100% 越 好 。 


2.3 参数 取 值 


仿真 参数 除了 4 个 关键 参数 (作者 人 数 、 评 议 资 
格 比例 、 评 议 人 休息 时 间 、 评 议 人 拒 审 率 ) 外 ， 还 包 
括 其 他 一 些 辅助 参数 ， 全 部 参数 具体 取 值 如 表 2 所 示 。 

部 分 参数 取 值 依据 较 长 ， 表 2 补充 说 明 如 下 。 

(1) 评议 人 休息 时 间 在 [15,25] 区 间 取 值 依据 是 . 
据 Publons 网 站 完成 的 《全 球 同行 评议 报告 》 显 示 ， 论 
文 评议 时 间 中 位 数 约 为 14.7 天 ( 取 整 为 15 天) 四 。 取 
5 天 为 步 长 是 考虑 一 周 工作 时 间 为 5 天。 考虑 2 月 通常 
为 28 天 ， 故 评议 人 休息 时 间 上 限 取 值 不 超过 28 天 。 
考虑 步 长 为 5 天 ， 为 保障 实验 步 长 一 致 ， 设 置 休息 时 
间 上 限 为 25 天 。 

(2) 据 中 国 科 学 技术 信息 研究 所 2022 年 5 月 份 发 
布 的 《2020 年 中 国 科技 论文 统计 分 析 》， 国 内 发 表 科研 
论文 最 多 的 10 个 学 科 共 计 发 表 28.6 万 篇 论文 ， 则 平均 
一 个 学 科 一 年 发 表 约 2~3 万 篇 论文 。 根 据 洛 特 卡 定律 ， 


以 论文 第 一 作者 身份 一 年 发 布 一 篇 文章 的 占 比 最 大 。 
目前 多 数 文章 中 署名 作者 数量 不 超过 3 个 ， 综 上 推断 
得 出 大 多 数学 科研 究 者 人 数 约 在 2~8 万 人 区 间 内 。 

(3) 设 定 洛 特 卡 参 数组 合 时 ， 约 束 条 件 为 “撰写 
不 同 篇 数 文章 的 作者 所 占 百 分 比 之 和 等 于 1”"。 对 于 绝 
大 多 数 作者 来 说 ， 以 第 一 作者 身份 一 年 内 撰写 有 一 定 
质量 的 论文 ， 通 常 篇 数 不 会 超过 4 篇。 根据 洛 特 卡 分 
布 撰写 1 篇 、2 篇、3 篇 、4 篇 文章 作者 比例 的 方法 如 
T: 给 定 洛 特 卡 参数 mw， 由 广义 洛 特 卡 分 布 公式 中 。 

x". f(x)=C 公式 (1) 

C 为 参数 ，f(x) 为 撰写 x 篇 论文 的 比例 (x=1, 2, 
3、4) 得 : 


> 7m=> 和 -1 


i=l li 

根据 上 述 归 一 化 约束 条 件 算 出 参数 C 后 ， 可 求 出 
撰写 1 篇 、 2 篇 、3 篇 、4 篇 文章 作者 的 占 比 。 一 个 洛 
特 卡 参数 代表 一 个 学 科 领 域 。 

(4) 一 名 评议 人 完成 评议 的 时 间 上 限 设 为 60 天 的 
原因 是 : 现实 中 多 数 期 刊 都 要 求 评 议 人 两 个 月 内 完成 
审 稿 。 评 议 时 间 下 限 设 为 10 天 的 原因 是 : 国际 及 国内 
某 些 顶 尖 期 刊 要 求 评 议 人 审 稿 时 间 控 制 在 两 周 左右 ， 
如 国内 物理 学 顶 刊 《物理 学 报 》 官 网 “ 审 稿 政策 ” 栏 
目 中 承诺 首 轮 审 稿 通常 在 两 周 内 完成 。 


公式 (2) 


表 2 仿真 参数 的 取 值 设 定 


Table 2 Value setting of simulation parameters 


编号 参数 名 称 取 值 范围 取 值 依据 

1 评议 人 休息 时 间 / 天 [15,25] ( 步 长 : 5) 具体 说 明 详 见 表 2 后 文 

2 作者 人 数 / 人 20 000、40 000、80 000 具体 说 明 详 见 表 2 后 文 

3 洛 特 卡 定律 参数 2~4 CHAS: 0.25) 尽量 覆盖 较 广 学 科 领 域 范围 ， 提 高 仿真 研究 结果 的 普 适 性 

4 论文 总 数 作者 总 数 和 洛 特 卡 定律 参数 计算 得 出 

5 一 年 作者 提交 最 大 论 4 为 保证 论文 质量 与 评议 速度 ， 作 者 可 以 提交 多 篇 论文 ， 但 平台 一 年 
文 数 /篇 最 多 评议 4 篇 ， 多 出 论文 自动 推迟 到 下 一 年 度 评议 

6 论文 月 度 上 传 量 每 月 在 8% 左 右 波动 ， 幅 度 为 土 2% 假定 投稿 比较 均匀 ， 一 年 12 个 月 ， 每 月 占 比 1/12, B 8% 左 右 

7 一 名 评议 人 完成 评议 [10,60] CHIE: 1) 评议 完成 时 间 大 致 服从 正 态 分 布 , 使 用 10~60 天 的 区 间 内 正 态 分 布 
时 间 / 天 随机 赋值 

8 评议 资格 比例 [50%,80%] GEK: 15%) 经 验 设 定 

9 拒 审 率 [10%,20%] CEK: 5%) 经 验 设 定 

10 一 篇 文章 评议 时 间 取 值 为 3 名 评议 人 评议 用 时 最 长 者 
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2.4 实验 设计 


响应 面 分 析 通 过 实验 设计 取得 因 变 量 、 自 变量 代 
表 性 数据 ， 用 多 项 式 回归 得 到 系统 自 变量 和 响应 特征 
的 量化 关系 外。 响应 面 分 析 和 常用 的 非 全 因子 实验 设计 
方法 有 中 心 复 合 实验 设计 (CCD) 和 Box-Behnken 实 
验 设计 (BBD), BBD 法 一 个 主要 优点 是 实验 参数 取 
值 不 会 出 现 超出 设 定 范围 的 情况 ， 故 此 处 选择 BBD 方 
法 上 9。 

采用 Design-expert 软件 进行 设计 。 作 者 一 年 中 提 
交 论 文 数 、 评 议 时 间 分 布 、 文 章 评议 时 间 参 数 随 机 设 
定 ， 总 论文 数 根据 洛 特 卡 定律 参数 计算 得 出 ， 不 纳入 
BBD 实验 抽样 。 一 个 洛 特 卡 定律 参数 代表 一 个 学 科 领 
域 ， 洛 特 卡 定律 参数 全 部 讨论 ， 不 抽样 。 选 取 休 息 时 
间 (A)、 拒 审 率 (B)、 研 究 者 人 数 (C)、 评 议 资格 比 
fil D) 为 实验 因素 ,各自 取 3 个 水 平 ， 使 用 -1、0、 
+1 进行 编码 ， 分 别 代 表 低 、 中 、 高 3 种 水 平 。 
每 个 洛 特 卡 定律 参数 均 单独 设计 一 张 BBD 表 ， 对 
表 内 各 组 合 进行 3 次 重复 实验 。 使 用 R 语言 编程 ， 不 同 
洛 特 卡 定律 参数 BBD 表 内 组 合 运行 50 次 ， 按 照 15 次 、 
15 次 、20 次 划分 为 三 大 组 。 使 用 R 语言 中 summary() 
函数 和 mean0 〇 0 函数， 计算 各 性 能 指标 均值 。 


3 结果 与 讨论 


3.1 实验 结果 


篇 幅 原 因 ， 本 文 给 出 洛 特 卡 定律 参数 值 为 2、 运 行 
20 次 后 各 变量 取 均 值 结果 ， 详 见 表 3。 其 余 组 合 结果 
类 似 。 

由 表 3 可知 : @3 个 性 能 指标 中 ，CR 随 因 素 变化 
的 波动 幅度 最 大 ， 而 TBD 和 Ar time 指标 波动 幅度 
很 小 ， 进 一 步 考 虑 篇 幅 限制 ， 下 文 只 对 CR 性 能 指标 
进行 响应 面 分 析 ; @ 各 实验 组 合 TBD 性 能 指标 值 均 大 
于 95%, 说 明 自 组 织 同行 评议 在 评议 人 评议 任务 分 配 
方面 表现 良好 。A_r time 性 能 指标 值 均 落 在 [33-35] 天 
区 间 ， 相 比较 于 目前 期 刊 同行 评议 普遍 需要 2~3 个 月 


Fee, EMS 
基于 响应 面 分 析 的 国家 预 印 本 平台 自 组 织 同行 评议 参数 设计 


时 间 ， 自 组 织 同行 评议 速度 快 很 多 。 
3.2 CR 性 能 指标 与 4 个 关键 参数 的 量化 关系 


根据 表 3 数据 ,以 CR (yy, j=l, 2, 3, 4, 5, 6, 
7, 8.9) 为 因 变 量 ， 以 4 个 关键 参数 一 -休息 时 间 
(x/)、 拒 审 率 (x), WAAR (x;) 、 评 议 资 格 比 例 
(x4) 为 自 变 量 ， 进 行 函 数 拟 合 ， 确 定量 化 关系 。 
自 变 量 数据 使 用 无 量 纲 化 伸缩 法 中 的 归 一 化 方法 进行 
无 量 纲 处 理 后 ， 得 到 不 同 洛 特 卡 定律 参数 取 值 下 ，4 个 
关键 参数 与 CR 的 量化 关系 详 见 表 4。 

在 表 5 中 ， 各 模型 失 拟 项 的 Pr 值 均 大 于 0.05， 不 
显著 ， 模 型 可 信 。 各 模型 决定 系数 R? 及 校正 决定 系数 
Adj R? 均 大 于 0.99， 表 明 各 模型 实验 实际 测量 值 与 预 
测 值 的 吻合 度 较 高 。 各 模型 Adj R 和 预测 决定 系数 Pre 
R? 间 高 度 接近 。 精 密度 Adeq Precision 远大 于 4, 说明 
各 模型 拟 合 情 况 良好 。 各 模型 变异 系数 C.V 小 于 
0.5%， 表 明 实 验 结果 信 度 高 。 

对 于 共 线 性 问题 ，Design-expert 软件 计算 得 到 各 
洛 特 卡 定律 参数 值 回归 方程 的 VIF 值 均 小 于 1.414， 远 
小 于 通常 设 定 的 VIF 判断 值 ， 因 此 不 存在 共 线 性 问题 。 

表 4 中 列 出 模型 显示 ， 评 议 资 格 比例 变量 系数 绝 
对 值 是 其 余 3 个 自 变量 系数 绝对 值 的 数 倍 ， 表 明 评议 
资格 比例 对 CR 指标 的 影响 数 倍 于 其 他 3 个 自 变 量 。 
其 次 为 休息 时 间 ， 为 负 相 关 。 研 究 者 人 数 和 拒 审 率 对 
CR 影响 不 显著 。 因 此 ， 对 自 组 织 同行 评议 CR 性 能 指 
标 最 重要 影响 因素 是 评议 资格 比例 ， 其 次 是 休息 时 间 ， 
最 后 是 研究 者 人 数 和 拒 审 率 。 

以 洛 特 卡 参数 值 为 2 时 的 回归 方程 举例 分 析 ， 保 
持 其 他 3 个 参数 值 不 变 ， 评 议 资 格 比例 数值 加 1，CR 
值 在 十 位 数位 置 变动 ; 休息 时 间 数 值 加 1，CR 值 在 个 
位 数位 置 变动 ; 研究 者 人 数 和 拒 审 率 数 值 加 1， 仅 变动 
CR 值 的 百 分 位 数 ， 变 动 幅度 小 ， 可 忽略 不 计 。 故 在 
CR 值 变 动 时 ， 评 议 资格 比例 贡献 度 最 大 ， 其 次 为 休息 
时 间 。 


3.3 关键 参数 交互 作用 


由 于 拒 审 率 、 研 究 者 人 数 两 个 参数 很 难 由 国家 预 
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#3 洛 特 卡 定 律 参数 值 为 2 的 BBD 实验 结 


Table 3 BBD experiment results with Lotka's law parameter value of 2 


ee | Be 9 组 织 同行 评议 性 能 指标 
A 休息 天 数 /天 ) B 〈 拒 审 率 /%) C 研究 者 人 数 / 人 ) D〔 评 议 资格 比例 /%) CR/% TBD/% A r time/ 天 
1 15 10 40 000 65 63.27 98.59 34.82 
2 25 10 40 000 65 61.00 95.28 33.58 
3 15 20 40 000 65 63.42 98.43 33.24 
4 25 20 40 000 65 61.12 95.37 33.71 
5 20 15 20 000 50 47.60 96.70 33.74 
6 20 15 80 000 50 47.81 96.99 33.12 
7 20 15 20 000 80 77.34 97.10 34.54 
8 20 15 80 000 80 77.05 97.52 34.48 
9 15 15 40 000 50 48.10 98.00 33.84 
10 25 15 40 000 50 46.58 95.24 34.53 
11 15 15 40 000 80 78.36 98.71 34.74 
12 25 15 40 000 80 75.61 95.44 34.90 
13 20 10 20 000 65 62.32 96.94 33.45 
14 20 20 20 000 65 62.10 96.98 34.16 
15 20 10 80 000 65 62.46 97.27 34.64 
16 20 20 80 000 65 62.46 97.09 33.51 
17 15 15 20 000 65 63.20 98.16 34.80 
18 25 15 20 000 65 60.79 95.32 33.96 
19 15 15 80 000 65 63.28 98.13 34.36 
20 25 15 80 000 65 61.16 95.23 33.76 
21 20 10 40 000 50 47.95 97.18 33.67 
22 20 20 40 000 50 47.52 96.94 33.86 
23 20 10 40 000 80 77.18 97.30 34.76 
24 20 20 40 000 80 76.88 97.08 34.53 
25 20 15 40 000 65 62.22 96.78 33.99 
26 20 15 40 000 65 62.35 97.12 33.96 
27 20 15 40 000 65 62.54 97.15 33.97 
28 20 15 40 000 65 62.18 97.06 33.97 
29 20 15 40 000 65 62.48 97.10 33.96 


印 本 平台 管理 机 构 调 控 ， 故 此 处 仅 讨 论 休 息 时 间 、 评 
议 资格 比例 两 个 参数 的 交互 作用 。 

响应 曲面 和 等 高 线 图 可 直观 描述 试验 设计 中 各 参 
数 间 的 交互 作用 ， 通 常 响应 面 的 陡峭 程度 或 等 高 线 的 
形状 可 以 在 一 定 程度 上 反映 出 交互 效应 的 强 弱 。 使 用 


和 等 高 线 图 。 

根据 图 1， 随 着 休息 时 间 减 少 和 评议 资格 比例 变 
大 ，CR 值 随 之 变 大 ， 且 休息 时 间 、 评 议 资格 比例 交互 
作用 响应 面 图 坡度 较 耳 且 等 高 线 呈 微 弯 曲 状态 ， 说 明 
休息 时 间 减 少 和 评议 资格 比例 变 大 对 CR 的 影响 较为 


Design Expert 软件 绘 出 响应 曲面 图 和 等 高 线 图 。 篇 幅 
原因 ， 此 处 仅 列 出 洛 特 卡 参 数值 为 2 时 的 响应 曲面 图 
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显 者 。 


王 凌 峰 ， 王 申 鹏 
基于 响应 面 分 析 的 国家 预 印 本 平台 自 组 织 同行 评议 参数 设计 


表 4 不 同治 特 卡 定律 参数 值 下 CR 值 与 4 个 关键 参数 的 量化 关系 


Table 4 Relationship between CR value and four key parameters under different Lotka's law parameter values 


洛 特 卡 值 CR 值 与 4 个 关键 参数 的 回归 方程 
2 yn = 62.38—1.1x1-0.046x;+0.072xst14.71xs—0.003xiwwzt0.066xix3—0.31xiwat0.053xaxst0.033xaxxa—0.12xxcs-0.21x1+0.012x2—0.027x3-0.047x2 


2.25 yn = 62.49-1 .1xı—0.047x:+0.07 1x3+14.7 1x4—0.003x 1x7+0.065x1x3—0.3 1x1x4+0.052x2x3+0.03 6x2x4—0. lx3x4—0.1 1x0. 1x+0.069x:+0.14x4 


2.5, yn = 62.92-0.74x,—-0.00 1x 2+0.04x3+14.76x4+0.0 Laixs+0.044.x 473-0.088x1x2-0.06x2x3+0.03 7x + 0.098x3%4-023x1+0.039%2-0.12x3°-0.013.x.7 


2.75 yu = 63.21-0.74xı—0.00 1x2+0.044x3+14.75x4+0.009% +004 5x 1x3-0.087x 1x4—0.06xx3+0.041 xx 4+0.092xx4—0.22x+0.045x-—0. 1 1x3°-0.007x.7 
3 yis= 63.79-0.56x—0.03 1x2—0.047x3+14.7 1x40. 1 8x1x7t0.063x 1x3—0.008x1x4—0.078x2x3+0.026x2x1+0.048x3x4—0.3 5x -0.1 7x—0.15x-0. 16x 
3.25 Y = 63.74—0.56x1—0.03x—0.048x3+14.7 1x40. 1 8x 1x2+0.063x 1x3—0.008x 1x4+0.078x2x3+0.026x2x4+0.048x3x10.32x -0.1 5x —0.13x3—0.13x 
3.5 yn = 63.78-0.52x;—-0.036x2-0.084x3+14.7 1x;—0.24xx7t0.02 1x 1x3—0.042x x4-0.079.x203+0.05 1x2x4+0.046x3x4—0.27x -0.1 8x—0.12x-0.1 8x 


3.75 yis= 64.07—0.5 1xı—0.069x:—0.047x;+14.66x4—0.059x 1x:+0.047x1x3—0042x 1x 4+0.089xx3+0.026x2x4-0.089x3x;—0.32x1—0.12x—0.1 1x-0.14x? 


4 yw = 64.09-0.57%,—-0.007x.-0.052%3+14.75x4-0.2 1x x7+0.066x1x3+0.092x 1x4+0.07 1x2x3+0.026xx4t 0.055x3x4-0.3 8x1 —0.16x7—0.14x7-0.19x 


表 5 不 同治 特 卡 定律 参数 值 下 回归 方程 误差 统计 


Table 5 Error statistics of regression equations under different Lotka's law parameter values 


洛 特 卡 值 失 拟 项 R Adj R? Pred R? Adeq Precision C.V/% 

2 0.480 2 0.999 8 0.999 7 0.999 3 260.629 0.27 
2.25 0.206 2 0.999 9 0.999 7 0.999 3 279.800 0.25 
2.5 0.415 1 0.999 9 0.999 8 0.999 6 334.659 0.20 
2:75 0.604 2 0.999 9 0.999 8 0.999 6 316.227 0.22 

3 0.6179 0.999 7 0.999 5 0.999 0 196.707 0.34 
3.25 0.657 5 0.999 7 0.999 5 0.998 9 193.838 0.35 
3:5 0.597 4 0.999 7 0.999 5 0.998 9 193.904 0.35 
3.75 0.6149 0.999 7 0.999 5 0.998 9 196.288 0.35 

4 0.4119 0.999 7 0.999 3 0.998 3 166.873 0.41 
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图 1 休息 时 间 、 评 议 资格 比例 对 CR 性 能 的 交互 影响 


Fig.1 Interaction effects of rest time and review qualification ratio on CR performance 
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4 仿真 方程 应 用 : 自 组 织 同行 评议 关 
键 参数 优化 设计 示例 


前 文 表明 ， 休 息 时 间 、 评 议 资格 比例 两 个 关键 参 
数 对 自 组 织 同行 评议 CR 性 能 指标 表现 影响 显著 ， 同 
时 又 是 国家 预 印 本 平台 管理 机 构 完 全 可 控 参 数 。 相 比 
之 下 ， 拒 审 率 、 研 究 者 人 数 两 个 参数 国家 预 印 本 平台 管 
理 机 构 不 能 控制 。 因 此 ， 管 理 实践 中 ， 国 家 预 印 本 平台 
管理 机 构 主 要 在 一 个 学 科 提 交 论 文 作者 数 、 经 验 拒 审 率 


时 间 对 自 组 织 同行 评议 性 能 影响 较 大 ， 特 别 是 评议 资 
格 比例 设 定 重要 性 远 高 于 其 他 3 个 关键 参数 ; 思量 化 
方程 中 ， 作 者 人 数 变量 系数 绝对 值 非常 小 ， 表 明 作 者 
人 数 变化 对 自 组 织 评议 性 能 影响 极 低 ， 近 似 于 可 忽略 。 

本 文 对 国家 预 印 本 平台 建设 问题 的 贡献 为 : 通过 
仿真 为 国家 预 印 本 平台 采用 自 组 织 同行 评议 保证 论文 
质量 提供 了 数值 实验 论据 ， 得 到 的 仿真 方程 可 为 国家 
预 印 本 平台 管理 机 构 决策 提供 量化 支持 。 需 要 强调 的 
是 ， 由 于 本 文 作者 掌握 算 力 资源 有 限 ， 故 仿真 精度 还 


或 者 运行 一 段 时 间 后 取得 真实 拒 审 率 数据 基础 上 ， 调 整 
休息 时 间 、 评 议 资格 比例 两 个 参数 ， 进 行 优化 设计 。 

以 某 学 科 的 作者 - 论文 数 分 布 符合 洛 特 卡 定律 参 
数值 为 2 时 为 例 (其 余 洛 特 卡 定律 参数 取 值 情 况 类 似 ， 
AN FREER), MHR 3 中 洛 特 卡 参数 值 为 2 时 的 量化 方 
程 ， 如 公式 (3) 所 示 。 

y11=62.38—1.1x1-0.046x;+0.072x3t14.71x4-0.003xixzt 

0.066x1x3-0.3 1 xix4+0.053 xx3+0.033 xx4-0. 12x34- 
0.21x,2+0.012x2-0.027x2-0.047x.2 公式 (3) 

若 国家 预 印 本 平台 管理 方 预期 自 组 织 同行 评议 性 
能 表现 CR 值 达 到 75% 及 以 上 ，4 个 关键 参数 取 值 可 以 
有 多 种 组 合 ， 篇 幅 原因 ， 此 处 列 出 根据 公式 3 计算 的 3 
种 不 同人 数 区 间 组 合 供 参 考 : 四 如 果 作 者 人 数落 和 区 
间 [0,20000]， 拒 审 率 落 入 区 间 [10%,15%]， 则 其 余 两 个 
关键 参数 取 值 可 以 确定 为 休息 时 间 20 天 、 评 议 资格 比 
fi] 80%， 此 时 CR 值 落 入 区 间 [77.24%,77.32%]; 四 如 
果 作 者 人 数落 入 区 间 [20000,40000]， 拒 审 率 落 入 区 间 
[15%,20%], ， 则 其 余 两 个 关键 参数 取 值 可 以 确定 为 休息 
时 间 15 天 、 评 议 资格 比例 80%， 此 时 CR 值 落 入 区 间 
[78.32%,78.34%]; 图 如 果 作 者 人 数落 入 区 间 [40000， 
80000] ， 拒 审 率 落 入 区 间 [15%,20%] ， 则 其 余 两 个 关键 
参数 取 值 可 以 确定 为 休息 时 间 25 天 、 评 议 资 格 比 例 
80%， 此 时 CR 值 落 入 区 间 [75.51%,75.56%]。 其 余 情 
况 ， 根 据 文 中 所 得 量化 方程 再 进行 计算 即 可 。 


本 研究 主要 结论 : 评议 资格 比例 、 评 议 人 休息 
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有 提高 空间 ， 如 需要 且 具 备 算 力 资源 的 情况 下 ， 可 以 
按照 本 文 方法 和 参数 进行 更 加 精细 的 仿真 计算 。 
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Key Parameter Optimization Design of Self-organizing Peer Review in National 
Preprint Publishing Platform Based on Response Surface Analysis 


WNAG Lingfeng, WANG Shenpeng 
(Business School, Guilin University of Electronic Technology, Guilin 541004) 


Abstract: [Purpose/Significance] The National Preprint Publishing Platform of China had been put into operation by the end of 2022. In 
order to ensure the quality of papers posted on the Platform and encourage a large number of researchers to submit articles to the 
Platform, it is necessary to introduce a paper quality assurance mechanism into the Platform. There are deficiencies in existing quality 
assurance mechanism for a preprint publishing platform. Self-organizing peer review has gradually attracted attention in recent years. In 
order to achieve the performance expected by the management agency of the National Preprint Publishing Platform, it is necessary to 
study the optimization design of key parameters of self-organizing peer review. [Method/Process] Design-expert software has been used 
for Box Behnken experimental design. The number of papers submitted by authors within a year, the distribution of review time, and the 
parameters of article review time are randomly set. The total number of papers is calculated according to the parameters of Lotka's law, 
and is not included in the Box-Behnken experimental sampling. We selected four key parameters of rest time, rejection rate, number of 
researchers, and review qualification ratio as independent variables, took three levels for each variable, and used -1, 0, +1 for coding, 
representing three levels of low, medium, and high, respectively. The three dependent variables for self-organizing peer review 
performance evaluation are the completion rate of paper review (CR), the balance of reviewer task allocation (TBD), and the average 
review time of the paper (A r time). A Box-Behnken experiment table was designed separately for each Lotka's law parameter, three 
repeated experiments were conducted on each key parameter combination in the table, and the summary() function and mean() function 
in R language were used to calculate the average performance indicators of each key parameter combination. Then, the response surface 
analysis was carried out on the Box-Behnken sampling data, and the quantitative relationship expression between the dependent variable 
of performance evaluation and the independent variable of key parameters was obtained. [Results/Conclusions] The ratio of review 
qualifications and reviewer rest time have greater impact on the performance of self-organized peer review, especially the ratio of review 
qualifications is much more important than other three key parameters. By combining different values of key parameter independent 
variables, the National Preprint Publishing Platform can achieve the expected self-organized peer review performance, ensuring the 
average quality of papers published by the Platform. In addition, because of our limited knowledge of computational resources, there is 
still room for improvement in simulation accuracy. If equipped with more powerful computational resources, more precise simulation 
calculation can be carried out based on the methods and parameters proposed in this paper. 

Keywords: National Pre-print Publishing Platform; paper quality; self-organizing peer review; box-behnken design; response surface 


analysis 
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